GUI vs. CLI: Execution Bottlenecks in Screen-Only and Skill-Mediated Computer-Use Agents
GUI vs CLI：屏幕交互与技能驱动型智能体执行瓶颈对比研究
🧭 GUI 与 CLI 智能体执行瓶颈对比
NYU Shanghai · Yale NLP Lab · Nanyang Technological University
在匹配任务条件下，GUI 智能体受限于长视距可靠交互，CLI 智能体瓶颈在于技能覆盖，经验证器增强后 CLI 可反超 GUI
📌 工作参考价值（4 点）
- 在构建 GUI Agent 处理长流程自动化（如电商后台操作、多步骤报表生成）时，可引入中间状态验证器或自我校正机制来缓解累积的定位错误，或结合 CLI 技能对关键步骤进行兜底。
- 对于基于 API / 技能调用的 Agent（如订单查询、广告投放接口），性能瓶颈往往不在模型推理能力，而在技能接口的覆盖度；可设计自动化的技能发现与补全管线，利用验证器反馈迭代扩充技能库。
- 混合架构（GUI + CLI）在真实场景中有互补价值：对界面变化频繁的步骤用 GUI 柔性适配，对高频、标准化操作封装为技能，兼顾灵活性与可靠性。
- 评测 Agent 性能时务必控制任务、初始状态和验证器，否则模态差异会被任务难度混淆；可参考其匹配基准设计思路来做内部 A/B 对比。